La valutazione della ricerca – Intervista con Franco Cuccurullo, presidente del Civr

In questi mesi, università ed enti di ricerca si sono sottoposti a un complesso sistema di valutazione della ricerca, messo a punto dal Comitato di indirizzo per la valutazione della ricerca. Efficace solo se sono note con largo anticipo le conseguenze della valutazione sulla distribuzione delle risorse. Invece la comunità scientifica conosce poco l’attività del Civr e le conseguenze che i giudizi di valutazione avranno sulla ripartizione dei fondi del ministero. Cerchiamo di fare maggiore chiarezza sulla questione con questa intervista a Franco Cuccurullo.

In questi mesi, università ed enti di ricerca si sono sottoposti a un complesso sistema di valutazione della ricerca, messo a punto dal Civr, il Comitato di indirizzo per la valutazione della ricerca, presieduto da Franco Cuccurullo. Partecipano all’esercizio di valutazione tutti e settantasette gli atenei nazionali, dodici enti pubblici di ricerca e tredici enti convenzionati.
Un sistema di valutazione è davvero efficace quando sono note, con largo anticipo, le conseguenze della valutazione (positiva o negativa) sulla distribuzione delle risorse. Solo così si può sperare che la valutazione orienti le scelte del corpo accademico, migliori la qualità della ricerca e stimoli la concorrenza tra università.
Dopo più di un anno dall’inizio del processo di valutazione, tuttavia, la comunità scientifica conosce poco l’attività del Civr e le conseguenze che i giudizi di valutazione avranno sulla ripartizione dei fondi del ministero. Né è chiaro se l’esperienza sarà ripetuta in futuro, e con quali modalità. Per capire come procede la valutazione e che conseguenze avrà per le università e gli enti di ricerca, abbiamo rivolto alcune domande al presidente del Civr, Franco Cuccurullo.

I commenti ricevuti all’intervista rilasciata dal Prof. Cuccurullo al Prof. Jappelli meritano una breve risposta, al fine di precisare alcuni aspetti relativi al lavoro condotto dal CIVR per la Valutazione Triennale della Ricerca (VTR). A causa di precedenti urgenti e indifferibili impegni del Prof. Cuccurullo, mi è stato affidato l’incarico di formulare tale risposta, i cui contenuti sono stati peraltro concordati con il Prof. Cuccurullo stesso.
Il primo importante punto si riferisce all’uso che verrà fatto dei risultati della valutazione, se, in altre parole, essi saranno utilizzati come strumento per l’allocazione delle risorse alle strutture sottoposte a valutazione.
Sotto questo profilo si deve ricordare che il CIVR ha ripetutamente sottolineato alle autorità ministeriali l’importanza di questo collegamento (cfr. Relazioni annuali del CIVR) e in effetti, anche nel DM istitutivo dell’esercizio, viene ricordato che si terrà conto della mancata partecipazione di una struttura in sede di allocazione delle risorse. Inoltre, il nuovo modello per la ripartizione dell’FFO, tiene conto in modo importante dei risultati della ricerca. E’ senz’altro da attendersi che il MIUR prenderà in considerazione i risultati dell’esercizio in questo senso. Mentre è previsto che il CIVR, nella sua Relazione finale, proponga modalità di collegamento tra risultati della valutazione e attribuzione delle risorse, è già esplicito il peso che avranno i 6 criteri scelti dal CIVR (qualità della produzione: 4, proprietà della produzione: 2; mobilità internazionale, impatto socio-economico, attrazione delle risorse, gestione delle risorse (1 ciascuno, vedi Bando di partecipazione). Va da sé che l’adozione di un modello piuttosto che un altro fa parte di scelte politiche, ma certamente i 6 criteri sovra esposti saranno considerati.
Infine, il VTR fornirà un’ampia gamma di conoscenze sulla qualità e sulle caratteristiche complessive del potenziale scientifico degli atenei, fondate sui giudizi di autorevoli personalità scientifiche e su indicatori quali-quantitativi. Il VTR, infatti, consentirà agli atenei di conoscere i propri punti di forza e di debolezza nell’ambito delle rispettive aree disciplinari, in modo da poter intervenire con un opportuno apparato di premi e di incentivi per valorizzare le aree di eccellenza e migliorare le aree che presentano una performance più limitata. Non si tratta, dunque, di impedire il miglioramento dei soggetti più deboli attribuendo loro meno risorse, ma, al contrario, di rendere evidenti per tutti le debolezze esistenti per poterle superare.
Un secondo punto sottolineato nei commenti è quello relativo al costo e ai tempi della valutazione. La risposta già fornita dal prof. Jappelli che quantifica il costo del VTR in un ammontare inferiore a 4 milioni di Euro è sostanzialmente esatta (il costo massimo del VTR è stato stimato in 5 milioni di Euro che non saranno interamente spesi) e sembra accettabile rispetto alle attività previste. Per quanto riguarda la comparazione di questi costi con quelli sostenuti da altre esperienze estere, occorre ricordare che un confronto corretto impone che i termini posti a paragone siano simili o assimilabili.
Pertanto il paragone proposto con l’esperienza dello CSIC, analogo al CNR in Italia, non sembra appropriato, sia per le dimensioni dell’esercizio (il VTR valuta 101 strutture, anche molto differenti tra di loro, tra cui il CNR stesso, e 17.570 lavori scientifici), sia per il tipo di attività svolta (peer review da parte di almeno due esperti esterni, giudizio di sintesi da parte del/dei panelist competente/i e giudizio finale da parte del panel).
Più consono appare, invece, instaurare un paragone con il Research Assessment Exercise (RAE) britannico, che prima della recente riforma, si svolgeva ogni cinque anni, utilizzava circa 70 panel e 700 panelist (contro i 20 panel e 151 panelist del VTR) per valutare un insieme di oltre 200.000 prodotti ed aveva un costo intorno ai 30 milioni di Sterline (45 milioni di Euro). L’enorme differenza di costi è dovuta alla utilizzazione integrale di un processo telematico, che ha potuto ridurre in maniera drastica le dimensioni ed i costi di funzionamento dei Panel. Va notato che la differenza tra i lavori valutati nei due esercizi (ca. 20.000 contro ca. 200.000) è solo apparente, tenendo in considerazione che il VTR è triennale e il RAE quinquennale, che moltissimi dei 200.000 lavori sono ripetuti (essendo stati presentati non da strutture ma da singoli professori, in ragione di 4 per ciascuno) e comunque sussiste l’obbligo di un giudizio specifico per ca. il 20% di essi. E’ improbabile che i costi del VTR possano ridursi nel futuro, anzi dovranno aumentare, dato che per alcuni panel (particolarmente eterogenei e/o letteralmente “inondati” di lavori da valutare) si dovrà prevedere un maggiore numero di panelist.
I tempi (18 mesi) per lo svolgimento dell’esercizio sembrano del tutto adeguati. In termini tecnici, il prossimo esercizio (2004-6) potrebbe chiudersi, se effettivo dal gennaio 2007, nella primavera del 2008.
Un terzo punto dei commenti tocca l’aspetto delle cautele poste in essere per garantire l’imparzialità della valutazione dei pari, e in particolare il mancato uso del “blind referee”. Si deve innanzi tutto ricordare che la valutazione condotta dai panel attraverso l’ausilio degli esperti è una valutazione che si riferisce a lavori già pubblicati, che spesso, specie se eccellenti, sono già stati letti ed eventualmente citati dalla comunità scientifica di riferimento. Pertanto l’omissione dei nomi degli autori non costituisce una reale garanzia di imparzialità del giudizio. Il CIVR ha invece perseguito questo fondamentale obiettivo attraverso tre strumenti principali: un’attenta sorveglianza sulla composizione dei Panel, che garantisse la presenza di soggetti di diversa provenienza istituzionale e di membri stranieri (la % degli accademici italiani è inferiore al 50%), l’elaborazione di regole di condotta per i Panel e di blocchi automatizzati per evitare l’insorgere di conflitti di interesse, un monitoraggio costante sull’attività dei Panel, svolto dal CIVR stesso, per poter verificare il rispetto delle regole stabilite.
Infine, il problema relativo al mancato aggiornamento del sito web del Comitato. Il CIVR da circa un anno ha dedicato tutte le risorse umane disponibili alla gestione del VTR, che ha contemplato, tra l’altro, un’estesa assistenza a referee e panelist, con ca. 10.000 messaggi e-mail smistati nelle 24 ore e l’organizzazione delle spedizioni dei ca. 1000 volumi in cartaceo dagli autori verso i referee, garantendo il più rigoroso anonimato. Inoltre, il 14 Dicembre p.v. sarà ufficializzato un portale specifico finalizzato alla ricerca, gestito, come è giusto che sia, direttamente dal MIUR, con personale specificamente destinato alla manutenzione e aggiornamento del sito. Stiamo procedendo, comunque, anche all’aggiornamento del sito CIVR attuale.

Roma, 12 dicembre 2005